Визуализация SentencePiece
Нажмите "Следующий шаг", чтобы начать процесс обработки текста.
Мы используем токены, потому что это быстро.
Следующий шаг
Сброс
Символ
_
заменяет пробел, позволяя алгоритму объединять слова.